unit of information

確率変数のエントロピーの単位

種別

↑ どちらにも共通している。

log の底ごとに単位が違う。

例

bit

$ I(E) [\text{bit}] = -\log_2(p(E)) [\text{bit}]

table:units

base name

2 shannon

2 bit

3 trit

10 hartley

10 ban

10 dit

e nat

備考

2の場合の別名は桁名と同じ bit

計算式

単位の変換

log の底を変換する

$ I_y(e) = -\log_y(x^{-I_x(e)}) = \frac{\log(x)}{\log(y)}I_x(e)

つまり x→y なら log(x)/log(y) を かける。

ref.